Trước khi trút hơi thở cuối cùng vào năm 1574, Charles IX đã gửi gắm con mình (Angoulême) cho Henrie III, em trai và cũng là người thừa kế ngôi vua Pháp, và Henrie III đã thực hiện trọn vẹn sự gửi gắm đó. Sau khi Charles IX chết, Marie Touchet lấy Francois de Balzac, Hầu tước của Entragues. Một trong các con gái của Marie, Henriette, Nữ hầu tước của Verneuil, về sau là một trong các tình nhân của Henrie IV của Pháp.

Charles de Valois được dạy dỗ cẩn thận và được sắp xếp để theo Dòng Malta. Vừa bước sang tuổi mười sáu, cậu đã giành được một trong những phẩm cấp cao nhất của Dòng.